DockerでローカルにIceberg + Spark環境を構築し、DBeaverで接続してみた

k.uehara
2024.12.18
データアナリティクス事業本部のueharaです。
今回は、DockerでローカルにIceberg + Spark環境を構築し、DBeaverで接続してみたいと思います。
 はじめにre:Invent 2024でフルマネージドなApache Iceberg tablesであるといえる S3 Tables が発表されるなど、大量のデータを効率よく扱うためのオープンソースのテーブルフォーマットであるIcebergがより勢いづいている印象を受けます。
AWS上ではIcebergを扱うためにS3 + Athenaという構成が取れたりするのですが、今回は手軽に試すためにローカル環境で構築してみたいと思います。
 （簡単に）IcebergについてIcebergはあくまで「Table Spec」の1つになります。


（引用元）
すなわち、「データへの効率的なアクセスをするためにこういう風にデータファイルを管理します」という枠組みであり、Icebergそのものがコンピューティング能力やストレージ機能を有しているといったものではありません。
実際にIcebergテーブルを扱うのはSparkやTrinoといったクエリエンジンになります。
補足ですが、Icebergのアーキテクチャは以下のようになっています。
 環境構築 docker-compose.ymlの作成公開されているIceberg + SparkのDockerイメージはいくつかありますが、今回は公式でもサンプルとして利用されているtabulario/spark-icebergのものを利用します。
公式サンプルではストレージとしてMinIO（S3互換のオブジェクトストレージ）を利用しているようで、これもそのまま使わせてもらいます。
作成したdocker-compose.ymlは以下の通りです。
docker-compose.yml
version: "3"

services:
  spark-iceberg:
    image: tabulario/spark-iceberg
    container_name: spark-iceberg
    build: spark/
    networks:
      iceberg_net:
    depends_on:
      - rest
      - minio
    volumes:
      - ./warehouse:/home/iceberg/warehouse
      - ./notebooks:/home/iceberg/notebooks/notebooks
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
    ports:
      - 8888:8888
      - 8080:8080
      - 10000:10000
      - 10001:10001
  rest:
    image: apache/iceberg-rest-fixture
    container_name: iceberg-rest
    networks:
      iceberg_net:
    ports:
      - 8181:8181
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
      - CATALOG_WAREHOUSE=s3://warehouse/
      - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO
      - CATALOG_S3_ENDPOINT=http://minio:9000
  minio:
    image: minio/minio
    container_name: minio
    volumes:
      - ./data:/data
    environment:
      - MINIO_ROOT_USER=admin
      - MINIO_ROOT_PASSWORD=password
      - MINIO_DOMAIN=minio
    networks:
      iceberg_net:
        aliases:
          - warehouse.minio
    ports:
      - 9001:9001
      - 9000:9000
    command: ["server", "/data", "--console-address", ":9001"]
  mc:
    depends_on:
      - minio
    image: minio/mc
    container_name: mc
    networks:
      iceberg_net:
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
    entrypoint: >
      /bin/sh -c "
      until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done;
      /usr/bin/mc rm -r --force minio/warehouse;
      /usr/bin/mc mb minio/warehouse;
      /usr/bin/mc policy set public minio/warehouse;
      tail -f /dev/null
      "
networks:
  iceberg_net:
 マウント用ディレクトリの作成docker-compose.ymlの作成が完了したら、同じ階層にdata, notebooks, warehouse というディレクトリを作成し、アクセス権限の設定をしておきます。
$ mkdir data notebooks warehouse

$ chmod 755 data notebooks warehouse
この段階で、ディレクトリ構成は以下のようになっていると思います。
.
├── data
├── docker-compose.yml
├── notebooks
└── warehouse
 Dockerコンテナの起動とデータベースの作成Dockerコンテナの起動は以下のコマンドで実行可能です。
$ docker-compose up
各サービスの立ち上げが完了したら、以下コマンドでSparkのセッションを開始します。
$ docker exec -it spark-iceberg spark-sql
セッションが開始されたら default というデータベースを作成しておきます。
spark-sql ()> CREATE DATABASE IF NOT EXISTS default;
これで一旦準備は完了です。
 DBeaverでアクセス 接続設定DBeaverを開き、「新しい接続の作成」を行います。接続タイプは「Apache Hive 4+」を選択します。
ドライバのダウンロードがされていなければ以下の通り「ドライバの設定」の画面が立ちあがるので、ダウンロードしておきます。
データベースは先に作成した「default」を指定します。ユーザ名とパスワードは空欄で問題ありません。
左下の「テスト接続」ボタンを押して接続が成功すれば接続設定は完了です。
 クエリの実行DBeaverで接続ができたら、適当にテーブルを作成しデータを挿入してみます。
DBeaverで実行
-- テーブルの作成
CREATE TABLE default.test_table
(
  location_id STRING,
  user_id INT,
  name STRING
)
USING iceberg
PARTITIONED BY (location_id);

-- データの挿入
INSERT INTO default.test_table 
VALUES ('aaa-111', 1, 'Alice'), ('bbb-222', 2, 'Bob');
パーティションを確認したいので、テーブル作成時にlocation_idというカラムをパーティションに指定しています。
データの挿入が完了したら、SELECTクエリでデータが取得できるか確認します。
DBeaverで実行
SELECT *
FROM default.test_table
取得できました！
 ファイルの確認ここまで完了したら、MinIOにマウントしている data フォルダを確認します。
$ tree data
data
└── warehouse
    └── default
        └── test_table
            ├── data
            │   ├── location_id=aaa-111
            │   │   └── 00000-9-e6eca642-bf54-4c83-ba93-a5737dcfe3fd-0-00001.parquet
            │   │       └── xl.meta
            │   └── location_id=bbb-222
            │       └── 00000-9-e6eca642-bf54-4c83-ba93-a5737dcfe3fd-0-00002.parquet
            │           └── xl.meta
            └── metadata
                ├── 00000-d68c1a54-03f8-4caa-a26a-ed2e44c16a79.metadata.json
                │   └── xl.meta
                ├── 00001-f38636ef-3f70-47ee-af49-cbef2c84cac4.metadata.json
                │   └── xl.meta
                ├── 07de197b-736c-46b9-8e32-748d558cafb8-m0.avro
                │   └── xl.meta
                └── snap-6608030360858061675-1-07de197b-736c-46b9-8e32-748d558cafb8.avro
                    └── xl.meta
パーティションに設定した location_id で区切られているデータファイル（.parquet）や、各種メタデータファイルが確認できると思います。
MinIOの構造により .parquet ファイルをローカルから直接参照することはできないので、以下のようにしてファイルをローカルに持ってきて確認してみます。
# まずコンテナ内の一時ディレクトリにコピー
$ docker exec -it mc mc cp minio/warehouse/default/test_table/data/location_id=aaa-111/00000-9-e6eca642-bf54-4c83-ba93-a5737dcfe3fd-0-00001.parquet /tmp/

# そのファイルをホストにコピー
docker cp mc:/tmp/00000-9-e6eca642-bf54-4c83-ba93-a5737dcfe3fd-0-00001.parquet ./
コピーされたファイルを適当なParquetビューワーで確認すると、以下の通りデータが確認できます。
 最後に今回は、DockerでローカルにIceberg + Spark環境を構築し、DBeaverで接続してみました。
参考になりましたら幸いです。
 参考文献Spark and Iceberg Quickstart - Apache Iceberg™
AWSにおける Hudi/Iceberg/Delta Lake の使いどころと違いについて